大型語言模型能流暢地生成語言,但 流暢性並不等同於事實可靠性。大語言模型的根本限制在於其對 參數記憶——即訓練結束時凍結於時間點上的知識,稱為訓練截止點。
為什麼大語言模型在孤立狀態下會失敗
RAG之所以存在,是因為許多實際問題依賴於資訊,這些資訊具有 私密性、 新近性、 版本化、 領域專屬性或 可審計性。若無外部知識,模型將面臨以下困境:
- 時間限制:無法得知訓練完成後的事件。
- 存取限制:無法看見「暗數據」(私密企業文件)。
- 可追溯性限制:缺乏可審計的追蹤路徑以確保專業責任。
開卷模式
我們不應強迫模型透過昂貴的重新訓練來「記住」所有內容,而是轉變架構,先從外部語料庫中檢索特定證據,再讓大語言模型在有證據支援的情況下作答。這提供了 有證據支持的信心 而非沒有證據的支持。